09 眼鏡の鼻あてに搭載した圧力センサを用いた耳ぴく入力と身体活動検出手法
https://scrapbox.io/files/6752bbf3f4f5eed29a9afab6.png
09 眼鏡の鼻あてに搭載した圧力センサを用いた耳ぴく入力と身体活動検出手法
大塚 晟Mac020k.icon(神戸市立工業高等専門学校), 高田 崚介(神戸市立工業高等専門学校)
メガネの鼻あて部へ圧力センサを装着することで,耳ぴく動作,歩行,瞬き,脈拍等の複数の動作を高精度で認識できる手法を提案している.シンプルなセンサ構成で複数の動作を高精度で認識できている点は,全ての査読者が評価した.一方で,様々な動きを取れるいうことはノイズにも敏感だと考えられる点,耳ぴく動作自体の使いやすさ,学習コストが不明瞭な点などが指摘されたが,WISSにおいて議論する価値がある論文と考え,条件付採録と判断された.
スマートグラス用のハンズフリー入力手法として,音声や視線,頭の動きを用いた方法が提案されているが,日常動作との切り分けが難しく,誤認識が問題となる.また,スマートウォッチは健康管理目的で普及しているが,スマートグラスには運動量や脈拍の計測機能を備えたものが少ない.そこで,本研究では眼鏡の左右の鼻あてに圧力センサを搭載し,耳を動かす動作(耳ぴく)を用いたハンズフリー操作に加え,瞬き,歩行,および脈拍を計測する手法を示す.提案手法は鼻あて部の圧力センサを用いるため,環境光,騒音などの外的要因に影響されない.実験では3名の協力者を対象に,耳ぴく,瞬き,歩行のセンサ応答を計測し,SVMを用いてユーザごとの分類器と汎用分類器を作成し,それぞれの識別精度を評価した.その結果,ユーザごとの分類器では平均98.3%,汎用分類器では平均92.4%のF1スコアが得られた.また,提案手法による脈拍検出の精度を従来の脈拍センサと比較し,その有効性を検証した.
論文:
参加者メモ・コメント:
「耳ぴく」かわいい鈴木一平 (BONSAI STUDIO).icon 耳ぴく得意です鈴木一平 (BONSAI STUDIO).icon
全くできないんですけど,どのぐらいの人類が耳ぴくれるんですかね…?くらもといたる.icon
おお,引用あったw
できないです!ShioMiyafuji.iconyuiseki.icon[]]
練習すればできるようになりますか??→なるらしい!なるほどShioMiyafuji.icon
後頭部側から耳の付け根を引っ張るような感覚でやるのがコツです藤田和之.icon
耳ぴくは進化の過程で使われなくなった
犬、猫、兎などはたしかに聞きたい方向に(首ではなく)耳を動かしている様子があるかも?yuiseki.icon
耳ぴく出力のCHI論文は見たことあるけど、日本語は「耳ぴく」が公式になるのかな(?) narumi.icon
E・H・エリックさん!ソノヤマタカスケ.icon
スマートグラス流行らなかったの今でも不思議Tatsuya NAGASAWA.icon
「耳ぴく」に相当するフォーマルな単語はない?takahiro.hara.icon
著者は耳ぴくできている!matsumur.icon
なお、第二著者は1年半ゼミのたびに練習してもぴくりともしません。。。(泣)rtakada.icon
進化の過程で失われた... 進化しすぎた第二著者。matsumur.icon
耳ぴくの自由度は個人によって違うのかな。
グラフの縦軸の単位がわからんP9とか
耳ぴくに関連研究がある事に驚き
それなkentarofukuchi.icon
BMIが主流になる前にどんな入力方法が次の段階になるのかは気になる
それが耳ぴくになるかも
メガネをクイッ!とやったときにはどうなるかな鈴木一平 (BONSAI STUDIO).icon
確かに、メガネの動きとの分離ができるのかな。
脱線ぎみですが、逆にさらなる進化で動かせる身体部位が増えたりすると入力インターフェースとして使えるかもですねyuiseki.icon
鼻ぴく?!鈴木一平 (BONSAI STUDIO).icon
自分は鳥肌をたてられるんですがこれも入力に使えないだろうかhogelog.icon
耳ぴくできないけど、耳があんまいい方じゃないので、人の話が聞こえづらい時、手で耳の向き調整してます。犬猫みたいに動かしたい...Kenta Yamamoto | BONSAI STUDIO.icon
耳を餃子みたいにふさぐ、ような手の動きは、昨日のHMDへの入力と近いように思いましたMao NAKANO.icon
耳が実際に動かせない人(例えば第二著者)が、耳を動かしたつもりでウンヌッってやったときにはどんなデータがでるんだろう?matsumur.icon
眼鏡の鼻にあたる部分が気になってストレスになってしまうのですが、圧力センサーは気にならないのですかね
発表のスライド送りを耳ピクでしている発表に今後期待Kenta Yamamoto | BONSAI STUDIO.icon
耳ぴくエリートのためのデバイス。ソノヤマタカスケ.icon
意図せず耳ぴくが発動することはないですか(できない人間なのでわからない)
自分の場合、眼を見開くときに動いちゃうことはありますね鈴木一平 (BONSAI STUDIO).icon
おお、耳ぴくにスクリーンショットを割り当てるのは興味深いですね!yuiseki.icon
ウェアラブルカメラの撮影とかを割り当てるのも良いかもyuiseki.icon
耳ぴくで録音開始とか鈴木一平 (BONSAI STUDIO).icon
↑気になった方向での会話を指向性スピーカーでとるとうさぎっぽくて良いですね!ShioMiyafuji.icon
(適切な質問ではないのでこっちにかくけど)これって人類のどれぐらいが耳ぴくできたら社会的に展開できるようになるんだろう…?
耳ぴくってもともとはウサギの耳とかが聞き方向に動くような動作なんですかね?そしたら実際にウサギの耳みたいな集音カバーを耳につけてその方向を操作できたら楽しい? narumi.icon
デモ体験したいけど耳ぴくできない😢 yumu.iconyuiseki.icon
今、会場で多くの人が変な表情作ってますよね?(笑)ソノヤマタカスケ.icon
頭を回したり顔の別の筋肉を動かしたりしたとき誤入力されたりしない?
耳ピク、子どものころから何度もチャレンジしたけどできたことがない。電気の力で耳ピク体験とかできないだろうか!𥱋瀨洋平.icon
”刺激”を与える、やっぱり低周波の電気とかなのかなTatsuya NAGASAWA.icon
耳ぴく習得のコツを教えて欲しいです。ソノヤマタカスケ.icon
ナイトセッション:耳ピク講習会Tatsuya NAGASAWA.icon
耳ぴくできるかもしれない!!(今までチャレンジしたことなかった.耳の後ろ触りながらそこを力入れるとちょっと動く)Kanta Kato.icon
耳ピク入力普及→耳ピク出力装置の普及
どこに力を入れれば耳ぴくできるのか、全く想像がつかない yumu.icon
子どもの頃に耳抜きをしているときに,鼻をつままなくても耳抜きができるようになったのですが,そのとき耳の周囲も動いているので,これが耳ピクなのかなと?Keigo Matsumoto.icon
これうまくやると、聴覚刺激に対する反応を測るタイプの研究で、非侵襲的な計測手法として育つかもしれないと思ったkentarofukuchi.icon
例えば接近方向の音刺激に対する反応速度を測るとか
初音ミ(ミピ)ク
大塚さんは夏にうちの研究室(筑波大IPLAB)に来てくれましたがインターン期間中に実験とか論文執筆などを行っていました。shizuki.icon
質疑 matsumur.icon みんな書いてね
今後はどうやって実験対象を集めますか?(耳ピクできる人が少なそうなので…)また、訓練効果はどれぐらいありますか?FUJIYOSHI Satoko.icon
(Mac020k.icon 回答) 現在は校内にポスターを掲載して協力者を集めています。今後対象者を増やすためにweb等で募集する必要があるかと思います。自身が耳ぴくするときに力をこめる場所やコツを説明すると20人に1人ぐらいは数分の訓練で新たにできる人がいる気がします。継続的な練習による習得がどの程度かは分からないです。
瞬きと耳ぴくを同時にした場合、計測に影響はでるのでしょうか?(川久保)
これはナイーブに聞いてみたい。同時入力!matsumur.icon
(Mac020k.icon 回答) 完全に同時に行った場合互いに相殺され、ほぼ値が平坦になります。そのため瞬きと耳ぴくを両方入力手法としての活用(ctrl + Vのような)は提案手法では難しいです。しかし、ある程度2つの動作のタイミングにズレがあれば、計測値に変化が表れるため検出は可能となります。また、耳ぴくを維持した状態での瞬き、目を閉じた状態での耳ぴくは分類アルゴリズムを調整すれば検出ができるかと思います。
メガネのかけ具合によって圧力値が変わりそうな気がするのですが、メガネをかけるたびに毎回キャリブレーションするという想定でしょうか?yumu.icon
(Mac020k.icon 回答) 分類器に入れるデータは正規化しており、それによって眼鏡の装着具合による圧力値のベース値を取り除いています。そのためキャリブレーションを必要がないです。
耳ぴく練習装置にはなりうるのでしょうか。つまり、そんなに動いてないけどちょっと動いているのを拾ってくれると、練習のための指標になるのですが。kentarofukuchi.icon
(Mac020k.icon 回答) 小さな動きでも計測計測できるため、耳ぴくの練習装置としてなり得えます。実際両耳での耳ぴくしかできなかった私が、装置を用いて片耳ずつの耳ぴくを習得できました。
耳ぴくできるのですが(おそらく),動かすのがすごくストレスだなと感じています.入力をする上でのストレスなどは検証していますでしょうか?(臼井)
(Mac020k.icon 回答) 実験の協力者からは実験後に疲労を少し感じるといった意見は聞いたことはあります。この原因は日常的での未利用だと考えられます。継続的に行うことでキーボードタイピングやフリック入力を習得したときと同様、慣れていくと思います。継続的な検証を行ってみたいです。
耳ぴくに限らず、表情を変えるだけで値が変化してしまったりしないのでしょうか?
(Mac020k.icon 回答) 表情変化を調べたことないですが、発話による計測の変化パターンは見られないため、あまり検出でできないかもしれません。試してみます。
イヤホンやイヤホンにセンサーつける、とかはダメなんでしたっけ(聞き漏らしてたらすみません)Kenta Yamamoto | BONSAI STUDIO.icon
耳掛け型とか相性良さそうに感じました
(Mac020k.icon 回答) 計測手法を変えることでイヤホン型でも耳ぴく検出できます。
右耳と左耳で別々に耳ぴくできるんでしょうか?yuiseki.icon→できそう?
(Mac020k.icon 回答) 左右別々でできます。実際に私も練習により習得しましたが、両耳でやるよりは少し難しいです。
そもそもミミピクはどういうときに起こる現象なんでしょうか,それに合わせたインタラクションがあると…→福地先生の質問でした!ShioMiyafuji.icon
(Mac020k.icon 回答) そもそも耳ぴくは音の発生源に耳を向けて音の受信をよくするために使われていました。犬、猫、兎などがその特徴を残しています。人間は首を動かすことでその役割が薄れているため、それと合わせたインタラクションは難しいかもしれません。あくび等でついでに動く等は聞いたことあるのでそれと合わせたインタラクションは面白そうです。
福地さんの質問に関連して:「音源方向に対して耳を向けるのが本来の目的」という話がありましたが、これは随意運動だと思ってたのですが、不随意なんですか?→意識せずに勝手に音源到来方向を向いてるのではあれば非常に面白い。その場合の動作原理は何だろう?(片方ずつ別の方向にも向くので、単なるステレオではなさそう。単一マイクで微少振動させてフィードバックしてる?)
うろ覚えですが、兎の耳なんかは、耳の形が優れていて、耳を動かす前から音源方向をそこそこの精度で測れるとかなんとか…後でがんばって思い出しますkentarofukuchi.icon
(Mac020k.icon 回答) 基本的に人間は無意識に音の発生源に対して耳を向けています。これの動作原理は分からないです。一方、Straussらの研究(1)では音源に近い方の耳がより大きな動きが観測されています。
(1) Daniel J Strauss, Farah I Corona-Strauss, Andreas Schroeer, Philipp Flotho, Ronny Hannemann, Steven A Hackley (2020) Vestigial auriculomotor activity indicates the direction of auditory attention in humans eLife 9:e54536, https://doi.org/10.7554/eLife.54536